Lossless Tensor Compression as Program Synthesis
无损张量压缩即程序合成
🧭 模型检查点张量压缩 · 程序合成
Singapore Management University · CSIRO · AIDX TECH PTE LTD · University of Alberta & Alberta Machine Intelligence Institute
将无损张量压缩形式化为程序合成，合成紧凑DSL程序实现位精确重建，存储节省33.93%
📌 工作参考价值（4 点）
- 电商/推荐模型（如深度CTR模型、LLM-agent）的检查点存储和传输成本高，可借鉴DSL+搜索的压缩范式，设计针对Embedding表、Transformer参数的特定压缩算子（如重复区域、浮点模式）。
- 无损压缩保持模型精度不下降，适合对精度敏感的在线推理场景（如价格排序、广告匹配），避免有损压缩带来的预估偏差。
- 可复用的工程trick：用少量代表性张量学习“产生式先验”来偏置搜索，提升压缩效率；将压缩过程抽象为可逆操作序列，解压时直接执行，无需额外依赖。
- 吞吐量3.60 GB/s压缩、6.61 GB/s解压，远高于通用压缩器，适合实时模型部署和快速回滚场景。